Từ 8/1974 - 8/1978: Học viên Trường thiếu sinh quân, Bộ Tổng tham mưu.

Từ 9/1978 - 8/1982: Học viên Trường cán bộ Ngoại thương Hà Nội.

Từ 9/1982 - 3/1989: Trưởng phòng kinh doanh, Công ty Xuất nhập khẩu huyện Lý Nhân, tỉnh Hà Nam Ninh.

Từ 4/1989 - 12/1994: Phó Giám đốc; Huyện ủy viên, Giám đốc Công ty Xuất nhập khẩu huyện Lý Nhân, tỉnh Hà Nam.

Từ 1/1995 - 6/1997: Huyện ủy viên, Phó Chánh Văn phòng Ủy ban nhân dân huyện Lý Nhân, tỉnh Hà Nam.

Từ 7/1997 - 6/1998: Chủ tịch Liên đoàn Lao động huyện Lý Nhân, tỉnh Hà Nam.

Từ 7/1998 - 9/2002: Trưởng phòng Ngoại vụ, Văn phòng Ủy ban nhân dân tỉnh Hà Nam.

Từ 10/2002 - 8/2006: Phó Chánh Văn phòng Hội đồng nhân dân - Ủy ban nhân dân tỉnh Hà Nam.

Từ 9/2006 - 11/2008: Tỉnh ủy viên, Chánh Văn phòng Tỉnh ủy Hà Nam.

Từ 12/2008 - 3/2009: Tỉnh ủy viên, Bí thư Huyện ủy Lý Nhân, tỉnh Hà Nam.

Từ 4/2009 - 7/2009: Tỉnh ủy viên, Bí thư Thành ủy Phủ Lý, tỉnh Hà Nam.

Từ 7/2009 - 9/2010: Ủy viên Ban Thường vụ Tỉnh ủy, Bí thư Thành ủy Phủ Lý, tỉnh Hà  Nam.

Từ 10/2010 - 12/2010: Phó Bí thư Tỉnh ủy, Chủ tịch UBND tỉnh Hà Nam.

Tại Đại hội Đại biểu toàn quốc lần thứ XI của Đảng được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XI.

Từ 1/2011 - 11/2014: Ủy viên Trung ương Đảng, Phó Bí thư Tỉnh ủy, Chủ tịch Ủy ban nhân dân tỉnh Hà Nam.

Từ 13/11/2014 - 20/11/2014: Ủy viên Trung ương Đảng, Bí thư Tỉnh ủy Hà Nam.

Từ 20/11/2014 - 4/2016: Ủy viên Trung ương Đảng, Bí thư Tỉnh ủy, Chủ tịch Hội đồng nhân dân tỉnh Hà Nam.

Tại Đại hội Đại biểu toàn quốc lần thứ XII của Đảng được bầu vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII.

Ngày 09/4/2016: Tại kỳ họp thứ 11, Quốc hội khoá XIII, được Quốc hội phê chuẩn, Chủ tịch nước bổ nhiệm giữ chức Bộ trưởng, Chủ nhiệm Văn phòng Chính phủ.

Ngày 13/4/2016 được Ban Cán sự Đảng Chính phủ cử giữ chức Ủy viên Ban cán sự đảng Chính phủ, Chánh văn phòng Ban Cán sự đảng Chính phủ.[4]Ông được đánh giá là người tiên phong trong công tác cải cách các thủ tục hành hành chính, thúc đẩy phát triển Chính phủ điện tử tại Việt Nam thông qua việc thiết lập Cổng dịch vụ công quốc gia, Trục Liên thông văn bản quốc gia, Hệ thống phục vụ họp và xử lý công việc của Chính phủ e-Cabinet. Người đầu tiên, mạnh mẽ trong việc thúc đẩy triển khai ký số văn bản điện tử